The Speedup Test

Numerous code optimisation methods are usually experimented by doing multiple observations of the initial and the optimised executions times in order to declare a speedup. Even with fixed input and execution environment, programs executions times vary in general. So hence different kinds of speedups may be reported: the speedup of the average execution time, the speedup of the minimal execution time, the speedup of the median, etc. Many published speedups in the literature are observations of a set of experiments. In order to improve the reproducibility of the experimental results, this technical report presents a rigorous statistical methodology regarding program performance analysis. We rely on well known statistical tests (Shapiro-wilk’s test, Fisher’s F-test, Student’s t-test, Kolmogorov-Smirnov’s test, Wilcoxon-Mann-Whitney’s test) to study if the observed speedups are statistically significant or not. By fixing 0 < α < 1 a desired risk level, we are able to analyse the statistical significance of the average execution time as well as the median. We can also check if P [X > Y ] > 12 , the probability that an individual execution of the optimised code is faster than the individual execution of the initial code. Our methodology defines a consistent improvement compared to the usual performance analysis method in high performance computing as in [15, 11]. We explain in each situation what are the hypothesis that must be checked to declare a correct risk level for the statistics. The Speedup-Test protocol certifying the observed speedups with rigorous statistics is implemented and distributed as an open source tool based on R software. Key-words: Code optimisation, program performance evaluation and analysis, statistics ∗ INRIA-Saclay. [email protected] † Laboratoire de mathématiques de Versailles. [email protected] ‡ Laboratoire PRiSM. [email protected] in ria -0 04 43 83 9, v er si on 2 26 J an 2 01 0 Un protocole statistique pour l’analyse de l’accélération des programmes Résumé : De nombreuses techniqus d’optimisations de programmes sont expérimentées en mesurant plusieurs fois les temps d’exécutions du code initial et du code transformé. Même en fixant les données d’entrés et l’environment d’exécution, les temps observés pour les exécutions des programmes sont variables en général. Ainsi, plusieurs facteurs d’accélérations possibles peuvent être observés: accélération du temps minimum, accélération du temps moyen et accélération du temps médian. Ces observations ne sont pas toujours significatives statistiquement. Afin d’améliorer la reproducibilité des performances des programmes, nous présentons dans ce document une méthodologie statistique rigoureuse basée sur plusieurs tests connus (test de Shapiro-wilk, test F de Fisher, test de Student, test de Kolmogorov-Smirnov, test de Wilcoxon-Mann-Whitney’s). En se fixant un niveau de risque α souhaité, nous somme capabls de comparer entre deux moyennes ou deux médianes variables. Notre méthodologie définit une amélioration par rapport aux protocols usuels décrits dans [11, 15]. Par ailleurs, nous expliquons dans chaque situation d’observation d’accélération quelles sont les hypothèses à vérifier pour déclarer un niveau de risque correct. Le protocole statistique, appelé le Speedup-Test, certifiant que les accélérations observées sont statistiquement valides est distribué sous forme de logiciel libre basé sur R. Mots-clés : Optimisation de code, analyse et évaluation des performances des programmes, statistiques in ria -0 04 43 83 9, v er si on 2 26 J an 2 01 0 The Speedup-Test 3